DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees
DARTree：基于自回归草稿树的推测性扩散解码
🧭 LLM 推理加速 · 推测解码
VILA Lab, MBZUAI
将扩散块草稿与树形自回归校正结合，训练无关地提升推测解码接受长度与加速比
📌 工作参考价值（4 点）
- 对线上部署 LLM 做生成式推荐（商品文案、推荐解释、对话式导购、搜索 query 改写）的团队，可直接把 DARTree 作为即插即用的推理加速层：训练无关，只需预训练 AR 校正头，无需额外训练成本，且保持无损输出分布。
- 借鉴其“固定宽度候选树 + 批量扩展评分”的工程 trick：把树节点扩展和 AR 校正头推理合并为单个 batch，避免逐节点堆排序的串行开销，适合在 GPU 上高并发执行，有利于降低在线服务延迟。
- 扩散草稿器做块级并行预测时，其边际分布需通过树形 AR 校正来恢复因果条件，这对其他使用扩散/非自回归草稿的加速方案有参考意义：不要只用单一链式校正，树形候选能显著提高接受长度。
- 注意该方法主要针对通用 LLM 解码，对传统推荐模型的排序、召回无直接帮助；但其加速比（最高 9.73x）在 LLM 参与的推荐链路里能有效缓解推理瓶颈。